4.8 数值稳定性和模型初始化

要点

合理的权重初始值和激活函数的选取可以提升数值稳定性
Xavier 初始化把神经元的值、参数和参数的梯度当做随机变量，研究传播过程中神经元值、神经元处梯度的变化，用来选取合理的初始值，保持神经元参数、神经元梯度大小的期望与方差不变
数值稳定指的是各个节点的神经元的值（和梯度）不会太大也不会太小

1. 神经网络的梯度

中间的乘法是矩阵乘法，对于向量来说是 Jacobian matrix

笔记

向量关于向量的导数是矩阵，矩阵关于矩阵的导数是张量

神经网络中神经元的值很大，正向传播会计算不下去，而神经元越大，该神经元的梯度有可能越大，例如：假设我们有一个单层神经网络, 它只有一个神经元和一个权重。我们将使用线性激活函数 $f (x) = x$ 。神经网络的输出是 $y = w \cdot x$ , 其中 $x$ 是输入, $w$ 是权重。
现在, 我们希望最小化损失函数 $L = (y - t)^{2}$ , 其中 $t$ 是目标值。为了最小化损失, 我们需要计算损失函数相对于权重 $w$ 的梯度, 即 $\frac{d L}{d w}$ 。
按照链式法则, 我们有:

\frac{d L}{d w} = \frac{d L}{d y} \cdot \frac{d y}{d w}

其中,

\begin{aligned} \frac{d L}{d y} = 2 (y - t) \\ \frac{d y}{d w} = x \end{aligned}

将这两个导数相乘, 我们得到:

\frac{d L}{d w} = 2 (y - t) \cdot x = 2 (w \cdot x - t) \cdot x

从这个公式中, 我们可以看到, 如果输入 $x$ 的值较大, 那么梯度 $\frac{d L}{d w}$ 也会较大。这意味着, 在更新权重时, 如果我们使用的学习率过高, 权重的更新可能会非常大, 可能会导致权重在优化过程中震荡, 而不是稳定地收敛到最小损失值。

所以我们要尽量控制神经元的值不能太大，也不能太小（太小会出现梯度消失）

元素函数的求导会出现对角矩阵

假设用 ReLu 作为激活函数的话，会出现梯度爆炸

2. 梯度爆炸、梯度消失出现的问题

这里顶部指的是靠近 y 的那一侧，因为反向传播计算是从顶部累乘到底部

3. 训练更加稳定的几种方法

乘法变加法
- 例如 ResNet、LSTM
归一化
- 梯度归一化，梯度裁剪
合理的权重初始化（见下方）

3.1 Xavier 初始化

为了解决梯度爆炸问题，我们希望把每一层的梯度控制在一个合理范围内（固定期望的方差的范围），我们研究一下梯度在每层之间的流动：
神经网络示意图： $h^{t} = W h^{t - 1}$
有以下三点假设，对于某固定第 $t$ 层：

$W_{i j}^{t}$ 是 i.i.d 的， $E [w_{i, j}^{t}] = 0, Var [w_{i, j}^{t}] = γ_{t}$
$h_{i}^{t}$ 是 i.i.d 的
$h_{i}^{t - 1}$ 独立于 $W_{i j}^{t}$

第一点：参数是我们可以控制的，所以我们做了一个简单的假设
第二点：输入的特征之间是独立的，这也是一个较强的假设（例如训练样本为图像，相邻之间的像素往往不是独立的，但像素比较多，近似可以认为两两独立）
第三点：当前层的参数与输入的特征无关，这也很好理解，因为当前层输入是上一层的参数决定的
这里对 $h^{t}$ 只是要求独立，对值的分布没有要求

正向传播数值分布

正向传播的基本公式是：

h^{t} = W^{t} h^{t - 1}

现在计算 t 层激活函数值的期望与方差：

E [h_{i}^{t}] = E [\sum_{j} w_{i, j}^{t} h_{j}^{t - 1}] = \sum_{j} E [w_{i, j}^{t}] E [h_{j}^{t - 1}] = 0

\begin{aligned} Var [h_{i}^{t}] & = E [{(h_{i}^{t})}^{2}] - E {[h_{i}^{t}]}^{2} = E [{(\sum_{j} w_{i, j}^{t} h_{j}^{t - 1})}^{2}] \\ = E [\sum_{j} {(w_{i, j}^{t})}^{2} {(h_{j}^{t - 1})}^{2} + \sum_{j \neq k} w_{i, j}^{t} w_{i, k}^{t} h_{j}^{t - 1} h_{k}^{t - 1}] \\ = \sum_{j} E [{(w_{i, j}^{t})}^{2}] E [{(h_{j}^{t - 1})}^{2}] \\ = \sum_{j} Var [w_{i, j}^{t}] Var [h_{j}^{t - 1}] = n_{t - 1} γ_{t} Var [h_{j}^{t - 1}] \end{aligned}

注意 $w_{i, j}^{t} w_{i, k}^{t} h_{j}^{t - 1} h_{k}^{t - 1}$ 里面两两相互独立，所以期望和为 0，根据以上结论，在满足 $E [w_{i, j}^{t}] = 0, Var [w_{i, j}^{t}] = γ_{t}$ 假设下，激活函数值的期望自动变为 0，而方差会做一个扩大，我们希望方差保持不变，则需要满足：

\begin{matrix} (1) & γ_{t} = \frac{1}{n_{t - 1}} \end{matrix}

反向传播数值分布

根据链式法则：

\frac{\partial ℓ}{\partial h^{t - 1}} = \frac{\partial ℓ}{\partial h^{t}} W^{t}

注意

反向传播正向传播本质都是矩阵乘法，上面等式两边是 Jacobian matrix，矩阵大小： $1 * n_{t - 1} = 1 * n_{t - 1} * n_{t - 1} * n_{t}$ ，按照正向传播写法：

{(\frac{\partial ℓ}{\partial h^{t - 1}})}^{T} = {(W^{t})}^{T} {(\frac{\partial ℓ}{\partial h^{t}})}^{T}

把 ${(\frac{\partial ℓ}{\partial h^{t - 1}})}^{T}$ 记为 $s_{t - 1}$ 的梯度向量， $(W^{t})^{T}$ 记作 $W^{'}$ ，则有:

s_{t - 1} = W^{'} s_{t}

与正向传播是类似的，若要梯度在传播时保持均值，方差不变，则需要：

\begin{matrix} (2) & γ_{t} = \frac{1}{n_{t}} \end{matrix}

根据归纳法，我们只需要设定初始的参数值就可以，从而在传播过程中保持数值的稳定性

注意到（1）、（2）式子难以同时满足，为了做一个权衡：

γ_{t} (n_{t - 1} + n_{t}) / 2 = 1 \to γ_{t} = 2 / (n_{t - 1} + n_{t})

所以每一层的参数按照以下分布进行初始化：

正态分布 $N (0, \sqrt{2 / (n_{t - 1} + n_{t})})$
均匀分布 $U (- \sqrt{6 / (n_{t - 1} + n_{t})}, \sqrt{6 / (n_{t - 1} + n_{t})})$

分布 $U [- a, a]$ 和方差是 $a^{2} / 3$

加上激活函数

正向
反向
假设激活函数是线性的，要满足传播过程中正向和反向数值稳定，方差不会变化太大，则要求线性函数只能是 $y = x$ ，这给我们一个启发：在原点附近激活函数可以近似认为是线性的，激活函数必须满足：

过原点
0 点导数为 1

Sigmoid 函数需要调整一下，使得在原点附近近似为 y=x

4. 打破对称性

考虑一个只有两个神经元的隐藏层，这两个神经元如果初始化的时候参数一致，向前传播的参数值大小是一致的，向后传播对于参数的更新也是一致的，由于对称性这两个神经元本质没有什么不同（等价于一个神经元），所以在初始化的时候避免参数取值一致

随机梯度下降无法打破对称性，因为对于参数的更新还是对称的，dropout 可以打破对称性，原因是训练的时候随机关闭了一些神经元（参考 [[4.6 Dropout]]）

1. 神经网络的梯度

2. 梯度爆炸、梯度消失出现的问题

3. 训练更加稳定的几种方法

3.1 Xavier 初始化

正向传播数值分布

反向传播数值分布

加上激活函数

4. 打破对称性

参考文献